Less is More: Recursive Reasoning with Tiny Networks
6 Oct 2025
URL：https://arxiv.org/abs/2510.04871
LLMが苦戦するパズル課題において、はるかに小さな再帰的ニューラルネットワークが優れた性能を発揮することを紹介しています。特に、先行研究の複雑な階層的推論モデル（HRM）を改良し、たった2層の単一ネットワークを用いたTiny Recursive Model（TRM）を提案しています。TRMは、少ないパラメーター（7M）と少量のデータで訓練されたにもかかわらず、SudokuやARC-AGIといった難問でLLMsを凌駕する汎化能力を達成し、複雑な固定点定理や生物学的根拠を必要としない、より単純で効果的な再帰的推論アプローチを確立しています。この研究の主な目的は、深い再帰とディープ・スーパービジョンを通じて、過学習を最小限に抑えつつ、小さなモデルで非常に大きな有効深度を模倣できることを示すことにあります。
by NotebookLM
TRM (Tiny Recursive Model)は、HRM (Hierarchical Reasoning Model)の生物学的妥当性に基づく複雑なアーキテクチャや理論的な制約を排除し、モデルの簡素化と汎化性能の向上を主な目標として改良されました。
簡素化と効率化の結果、TRMは、HRMと比較して少ないパラメータで、Sudoku-ExtremeやMaze-Hard、ARC-AGIといったベンチマークにおいて、大幅に高い汎化性能を達成しています。
アーキテクチャの簡素化
HRMは、人間の脳の階層的処理とマルチタイムスケール処理に触発され、相互に依存する2つの再帰モジュールを使用していました。これに対し、TRMは単一の小さなネットワークを使用します。
理論的な複雑さの排除
HRMは、効率とメモリ削減のために、Implicit Function Theorem (IFT)に基づく1ステップ勾配近似を使用していました。TRMは、IFTや固定点への依存を完全に排除し、勾配計算を必要とする完全な再帰プロセス全体を通じてバックプロパゲーションを行う設計を採用しました。
潜在特徴の解釈をより自然なものに変更
HRMでは$ z_Hと$ z_Lという2つの潜在特徴が階層的な推論モジュールに対応付けられていました。TRMではこれを提案解 $ y（以前の$ z_H）と潜在推論特徴 $ z（以前の$ z_L）として再解釈しました。
Adaptive Computational Time (ACT)機構の効率改善
HRMのACTはQ学習を利用していましたが、TRMは正解に至ったかどうかの二値交差エントロピー損失のみで停止確率を学習するように簡素化しました。
by NotebookLM